BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms
BM25在大规模上获胜：检索增强生成范式的扩展性研究
🧭 检索增强生成扩展性分析 ★ 深度解读
University of Science and Technology of China · Metastone Technology · Beijing Academy of Agriculture and Forestry Sciences
在450倍语料规模扩展实验中，BM25在大约1000万词元后全面超越文件系统Agent和图RAG，成为准确性最高且成本最低的默认检索方案
📌 工作参考价值（4 点）
- 大规模知识库推荐系统检索选型：在电商商品描述、客服知识库等百万级文档场景中，BM25应当被作为默认检索器，而不必盲目追求稠密检索或Agent搜索；BM25无需LLM构建索引，成本极低且准确率在大规模时反而领先。
- 搜索词/问题改写中的成本控制：File-System Agent在小规模（<1000万词元）时可获得最佳准确率，但其顺序探索导致查询成本为BM25的39倍以上；在广告搜索词推荐或用户问题重写中，应先通过全局关键词检索（如BM25）获得候选，再引入Agent推理，而不是全程依赖Agent遍历。
- 图索引构建的门槛评估：GraphRAG（如LightRAG、MS-GraphRAG）在构建阶段消耗极大，LightRAG在300万词元时已无法完成构建，且准确率始终不如BM25；在含有大量噪声、事实冲突的电商评价或客服记录中，图遍历更容易被语义干扰，应谨慎评估ROI。
- 评测设计的借鉴：论文通过固定问答集、固定对抗文档、仅增加背景语料的“嵌套语料梯”设计，可以迁移到搜索推荐系统的离线评估中，用于衡量模型在库存/内容膨胀时的鲁棒性，避免单一体量评估掩盖扩展性问题。